Năm 1980, Đỗ Anh cùng gia đình rời Việt Nam bằng thuyền, cuối cùng đến định cư tại Úc.[3] Trong cuốn tự truyện xuất bản năm 2010, The Happiest Refugee, Đỗ Anh kể lại rằng gia đình ông sống sót sau năm ngày lênh đênh trên chiếc thuyền đánh cá dài chín mét rưỡi ngang hai mét, nhồi nhét bốn mươi người. Đến ngày thứ hai, một cơn bão ập đến cuốn trôi gần hết thức ăn và nước uống, rồi bị cướp biển tấn công hai lần. Lần đầu chúng cướp một trong hai máy tàu, rồi một bọn cướp khác đến, lần này chúng lấy luôn chiếc máy còn lại. Song, một cướp biển trẻ tuổi ném lại một thùng nước ngọt, nhờ đó mà họ sống sót cho đến khi một tàu hàng của Đức đến cứu họ.

Cậu bé Đỗ Anh lớn lên với những câu chuyện về trải nghiệm này của gia đình. Về sau ông nói rằng chúng đã có ảnh hưởng sâu đậm đến việc định hướng cho cuộc đời mình.[3]

Sau vài tháng sống trong một trại tị nạn tại Malaysia, Đỗ Anh và gia đình đến định cư ở Sydney, Úc.[3]

Đỗ Anh theo học chương trình trung học tại trường St Aloysius’ College ở Milsons Point.[4]. Đến năm 1999, anh tốt nghiệp Cử nhân Luật và Kinh doanh tại Đại học Kỹ thuật, Sydney.[5]

Cha của Đỗ Anh (Đỗ Thành Tâm - Tâm Đỗ) rời Úc để về Việt Nam kinh doanh - đây cũng là lý do Bố Mẹ Cậu ly hôn và ông sống với mẹ tại Sydney. Cậu thiếu niên 14 tuổi Đỗ Anh khởi nghiệp kinh doanh bằng cách nuôi cá nhiệt đới,[6] rồi khi đang học năm thứ nhất trường Luật tại Đại học Kỹ thuật, Sydney, lợi dụng cơn sốt ăn theo phim Dances with Wolves (Khiêu vũ với bầy sói), Đỗ Anh mở một sạp trong chợ bán hàng thủ công mỹ nghệ của người da đỏ, về sau cậu phát triển thành một chuỗi bốn cửa hàng nhượng quyền.[7]